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Abstract of DE41 13992 

A camera surveillance system is used to locale objects that enter a room. The cameras (1-3) are 
installed at three different points within a room and are calibrated. The calibration ensures that each 
point within the room can be related to a 3D representation on a monitor screen The monitored region 
is defined by specific points (5-8) and these provide comparison points for identifying any changes that 
take place due to the entry of objects. The monitoring process takes place as a continuous, repetitive 
cycle under ihe control of a computer. ADVANTAGE - Detects object entry and provides location 
rapidly. 
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(§4) Verfahren zur automatischen dreidimensionalen Uberwachung von Gefahrenraumen 
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Mit dem Verfahren werden Gefahrenraume so uberwacht, 
daft in den Gefahrenraum eintretende Objekte detektiert, 
lokaiisiert und gegebenenfalls in Form und GroBe abge- 
schatzt werden konnen. Hierzu werden in der Oberwa- 
chungsphase die Bilder von mindestens zwei, den zu 
uberwachenden Raumbereich beobachtenden, elektroni- 
schen Bildaufnehmern laufend aufgenommen, in eine rech- 
nerverarbeitbare Form uberfuhrt und rechnergestutzt ausge- 
wertet. Voraussetzung fiir das Verfahren ist, daS die betei- 
ligten Bildaufnehmer auf ein gemeinsames Weltkoordina- 
tensystem kalibriert sind, so dad fur jeden Bildaufnehmer zu 
einem vorgegebenen Raumpunkt die Bildpunktkoordinaten 
seiner Projektion angegeben werden konnen. Grundsatzlich 
arbeitet das Verfahren nach dem Prinzip gekreuzter Licht- 
schranken. In der Einrichtphase des Verfahrens werden die 
Kreuzungspunkte (Uberwachungsraumpunkte) benutzersei- 
tig vorgegeben und in die Bildkoordinaten ihrer Projektion 
fur den jeweiligen Bildaufnehmer (Uberwachungsbildpunk- 
te) umgerechnet. In der Uberwachungsphase werden die 
Oberwachungsbildpunkte auf Veranderungen uberpruft. Er- 
scheinen alle Oberwachungsbildpunkte eines Oberwa- 
chungsraumpunktes als verandert, so ist mit grofier Wahr- 
scheinlichkeit dieser Raumpunkt beiegt. Die Dichte der 
Uberwachungsraumpunkte kann an die erwartete Objektgrd- 
&e angepaSt werden. 
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Beschreibung 



Technisches Gebiet 

5 

Die Erfindung betrifft ein Verfahren zur Oberwachung von Gefahrenraumen, Sicherheitszonen oder poten- 
tiellen Kollisionsbereichen (Oberwachungsraum). Hierzu werden im Betriebszustand die Bilder von mindestens 
zwei,den Oberwachungsraum beobachtenden Bildaufnehmern laufend aufgenommen, in eine rechnerverarbeit- 
bare Form gebracht und mit den Bildern vergiichen, die den Grundzustand des Oberwachungsraumes aus der 
10 Sicht der jeweiligen Bildaufnehmer zeigen. Aus dem Ergebnis des Vergleiches wird auf Belegungsveranderun- 
gen des Gefahrenraumes, den On der Ver&nderung sowie, in einer Ausgestaltung des Verfahrens, auf die grobe 
Form und GroOe des verandernden Objektes geschlossen. 

Zugrundeliegender Stand der Technik 

15 

Verfahren zur Detektion und Lokalisierung von raumlichen Belegungsveranderungen in Gefahrenraumen auf 
der Basis von elektronischen Bildaufnehmern, wie etwa Videokameras, sind bereits mehrfach bekannt. In DE-OS 
38 25 757 sind beispielsweise Verfahren und Vorrichtungen beschrieben, mit deren Hilfe uber Linsen und Spiegel 
mehrere Raumbereiche auf einer einzigen lichtempfindlichen Einrichtung abgebildet werden, die nach der 

20 Methode des iaufenden Bildvergleiches auf Veranderungen uberwacht werden. In vielen Anwendungsfallen sind 
die Verwendungsmoglichkeiten solcher Oberwachungseinrichtungen dadurch beschrankt, daB lediglich die 
durch das zwischen Kamera und Hintergrund tretende Objekt verursachte Grauwert-, Farb- oder Strukturande- 
rung von der Kamera detektiert wird. Diese Verfahren stellen damit eine Erweiterung des Lichtschranken- oder 
Reflexlichtschrankenprinzips dar. Die Position der Eintrittsstelle des Objektes laBt sich mit diesen Verfahren 

25 nicht angeben. 

Eine raumliche Lokalisierung laBt sich hingegen durch die Verwendung von zwei oder mehr Bildaufnehmern 
in Verbindung mit photogrammetrischen Auswerteverfahren erzielen. Durch /CHEN88/, /SRIV90/, /POTM85/ 
und /MART83/ sind Verfahren bekannt, bei denen die aus verschiedenen Ansichten mit Hilfe von Kameras 
aufgenommenen Silhouetten eines Objektes rechnerisch und unter Beriicksichtigung der photogrammetrischen 

30 Abbildungseigenschaften der Kameras in den Raum nickprojiziert werden. Das von alien Silhouettenprojek- 
tionskegeln eingeschlossene Schnittvolumen gibt den Ort und die angenaherte Form des Objektes wieder. 
Nachteilig auf die Verwendungsmoglichkeit als Schutz- und Sicherheitseinrichtung wirkt sich bei diesen Verfah- 
ren der hohe Rechenaufwand fur die Bildauswertung und fur die rechnerische Ruckprojektion aus. 
Andere photogrammetrische Verfahren vermessen mit Hilfe des Triangulationsverfahrens die Position von 

35 Oberflachenpunkten und gewinnen aus einer groBen Zahl vermessener Oberflachenpunkte die Form und 
Position des Objektes. Das zentrale Problem dieser Verfahren ist es, in den Bildern der Bildaufnehmer genau die 
Bildpunkte zu finden und einander zuzuordnen, die denselben Oberflachenpunkt darstellen (Korrespondenzpro- 
blem). Dieses Problem kann durch zusatzlich in den Raum projiziertes Strukturlicht vereinfacht werden. Bei 
diesen an sich sehr genauen Verfahren wirkt sich jedoch der hohe Rechenaufwand zur Losung des Korrespon- 

40 denzproblems und zur Berechnung der Raumpositionen mit Hilfe der Triangulation auf die Verwendungsmog- 
lichkeiten als Schutz- und Sicherheitseinrichtung sehr nachteilig aus. 

Offenbarung der Erfindung 

45 Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur automatischen Oberwachung von Gefahrenrau- 
men so auszubilden, daB in den Gefahrenraum eintretende Objekte detektiert, lokalisiert und gegebenenfalls in 
GroBe und Form abgeschatzt werden konnen, bei gleichzeitig kurzen Auswertungszeiten. 
Diese Aufgaben werden durch die im Hauptanspruch aufgefuhrten Merkmale gelost. 

Durch die Kalibration der installierten Bildaufnehmer existiert ein mathematischer Zusammenhang, mit dem 
so aus den Koordinaten eines Raumpunktes die Bildkoordinaten seiner Projektion auf der Bildebene eines Bildauf- 
nehmers berechnet werden konnen. Diese Kalibrationsverfahren sind an sich bekannt (z. B. /FOHR907, 
/MEIS89/). Im Ausfuhrungsbeispiel wird ein einfaches Beispiel hierzu gegeben. Wichtig fur das Verfahren ist, 
daB alle Bildaufnehmer auf ein gemeinsames Raumkoordinatensystem kalibriert sind. 
Unter Ausnutzung des Kalibrationsergebnisses werden im ersten Verfahrensschritt, jedoch noch vor der 
55 Oberwachungsphase (Einrichtphase), die Koordinaten der zu uberwachenden Raumpunkte (Oberwachungs- 
raumpunkte) benutzerseits festgelegt und mit den Kalibrationsparametern in die Bildpunktkoordinaten der 
Bildaufnehmer (Oberwachungsbildpunkte) umgerechnet (s. Fig. 1). ZweckmaBigerweise werden diese Bildkoor- 
dinatenwerte fur die Oberwachungsphase abgespeichert. Die so aus einem Oberwachungsraumpunkt entstande- 
nen Oberwachungsbildpunkte werden im folgenden als "zum Oberwachungsraumpunkt korrespondierend" 
60 bezeichnet 

In der Oberwachungsphase werden die Oberwachungsraumpunkte nach dem Prinzip gekreuzter Lichtschran- 
ken uberwacht. Der in der Oberwachungsphase durchgefuhrte Auswertevorgang wird zyklisch wiederholt. 
Dazu werden zunachst die von den Bildaufnehmern aufgenommenen Bilder in eine rechnerverarbeitbare Form 
uberfiihrt. Im AnschluB daran werden die zu einem Oberwachungsraumpunkt korrespondierenden Oberwa- 
65 chungsbildpunkte, ggf. unter Beriicksichtigung ihrer Umgebung, auf Grauwert-, Struktur- oder Texturverande- 
rungen untersucht. Hierzu wird auf an sich bekannte Methoden des Bildvergleiches zuriickgegriffen. In einer 
Ausgestaltung des Verfahrens dienen z. B. die von den Bildaufnehmern im Grundzustand des Oberwachungsrau- 
mes aufgenommenen Bilder als Vergleichsbilder. Eine Veranderung der Belegungssituation auf der Position 



eines Oberwachungsraumpunktes, z. B. die Anwesenheit eines im Grundzustand des Oberwachungsraumes 
nicht vorhandenen Objektes auf dieser Position, wird i. allg. zu einer Veranderung aller korrespondierenden 
Oberwachungsbildpunkte fuhren. In einer Ausgestaltung des Verfahrens wird daher ein Oberwachungsraum- 
punkt dann als verandert angenommen, wenn alle korrespondierenden Oberwachungsbildpunkte als verandert 
erkannt wurden. Rg. 3 verdeutlicht dieses Prinzip. 

Aus der Tatsache, daB bei der Oberpriif ung der Oberwachungsraumpunkte nur auf bekannte Bildkoordinaten 
zugegriffen wird, folgt eine hohe Auswertegeschwindigkeit Durch die Vorgabe der zu uberpriifenden Raumpo- 
sitionen wird zudem das Korrespondenzproblem vermieden. 

Die raumliche Dichte der Oberwachungsraumpunkte kann an die GrbBe der zu detektierenden Objekte 
angepaBt werden. In einer Ausgestaltung des Verfahrens werden die Oberwachungsraumpunkte automatisch 
aus der Angabe des Oberwachungsraumbereiches und der gewunschten Punktdichte erzeugt. Durch vier benut- 
zerseits vorgegebene Raumpunkte (Rg. 2: Punkte 5 bis 8) wird ein Spat aufgespannt, dessen Innenraum den 
Oberwachungsraum festlegt Durch drei weitere Zahlenwerte (Rg. 2: dx, dy, dz) werden die Oberwachungs- 
punktabstande in Richtung der Spatvektoren festgelegt In einer weiteren Ausgestaltung dieses Prinzips werden 
die vier Raumpunkte, mit denen der Oberwachungsraum festgelegt wird, im Oberwachungsraum selbst mar- 
kiert Hierzu wird ein Markierungspunkt an die gewQnschten Raumpositionen bewegt und mit Hilfe der 
kalibrierten Bildaufnehmer in an sich bekannter Weise photogrammetrisch durch Triangulation vermessen. 
Hierdurch wird die Festlegung eines Oberwachungsbereiches einfach und sicher. In gleicher Weise werden auch 
einzelne Oberwachungspunkte markiert 

In einer Ausgestaltung des Verfahrens ist mindestens ein Teil der Bildaufnehmer farbselektiv, z. B. durch vor 
die Bildaufnehmer montierte Farbfilter. Weiter ist im Nahbereich eines jeden farbselektiven Bildaufnehmers 
eine Farblichtquelle mit einem nur filr den jeweiligen Bildaufnehmer durchlassigen Lichtspektrum. Auf diese 
Weise wird der moglicherweise storende EinfluB des Umgebungslichtes ausgeschaltet Die in manchen Fallen 
storende Schattenbildung wird durch die bildaufnehmernahe Anbringung der Farblichtquellen erreicht, da 
hierdurch, vom jeweiligen Bildaufnehmer aus gesehen, der Schatten vom Objekt selbst weitgehend verdeckt 
wird. 

In einer alternativen Ausgestaltung dieses Prinzips wird die Belichtungszeit der Bildaufnehmer so gesteuert, 
daB zu einem Zeitpunkt jeweils nur ein Bildaufnehmer belichtet wird. Im Nahbereich eines jeden Bildaufneh- 
mers ist jeweils eine schaltbare Lichtquelle, z. B. eine Blitzlichtquelle, die nur im Belichtungszeitraum des 
jeweiligen Bildaufnehmers eingeschaltet wird. Durch die Nahe der Lichtquellen zu den jeweiligen Bildaufneh- 
mern wird ebenfalls Schattenbildung weitgehend vermieden. Ist die Helligkeit der schaltbaren Lichtquellen 
groBer als die des Umgebungslichtes, dann kann auch bei diesem Verfahren der EinfluB des Umgebungslichtes 
unterdruckt werden. Durch die zusatzliche Verwendung farbselektiver Bildaufnehmer und schaltbarer Licht- 
quellen mit einem fur die farbselektiven Bildaufnehmer gut sichtbaren Licht, wird die Unterdriickung des 
Umgebungslichtes weiter verbessert. 

Erlauterung der Zeichnungen 

Rg. 1 zeigt den Zusammenhang zwischen einem Oberwachungsraumpunkt und den korrespondierenden 
Oberwachungsbildpunkten, mit den Bezeichnungen 

Oberwachungsraumpunkt 
Xr j - (xr i, yr j, zrj), 

Oberwachungsbildpunkte 

Xb l,i-(xb_l, i.yb 1, i,zb_t,i), 

Xb~2,i-(xb_2, i,yb~2, i,zb_2,i). 

Vereinfachend wurden die Bildkoordinatensysteme und Oberwachungsbildpunkte in die Projektionsebenen der 
Bildaufnehmer eingezeichnet 

Rg. 2 zeigt die uberwachung eines spatffcrmigen und mit Oberwachungsraumpunkten belegten Raumberei- 
ches mit Hilfe der drei Bildaufnehmer 1 bis 3 sowie dem rechnergestiitzten Bildverarbeitungssystem 4. Die 
schwarz gekennzeichneten Oberwachungsraumpunkte 5 bis 8 spannen den Spat auf. 

Rg. 3 zeigt in einer vereinfachten zweidimensionalen Darstellung die raumliche Lokalisierung eines Storob- 
jektes 3 durch ein Feld von Oberwachungsraumpunkten 4, welches mit Hilfe der Bildaufnehmer 1 und 2 
uberwacht wird. Die schwarz ausgefUllten Punkte kennzeichnen die als verandert erkannten Oberwachungs- 
raumpunkte. 

Ausf uhrungsbeispiel der Erfindung 

Rg. 2 zeigt einen zu uberwachenden Raumbereich, in dem drei als elektronische Bildaufnehmer dienende 
CCD-Kameras 1 bis 3 fest angebracht sind, deren Bilder von einem rechnerbasierten Bildverarbeitungssystem 4 
ausgewertet werden. 

Zur Beschreibung des Projektionsverhaltens der Kameras wird im vorliegenden Ausfuhrungsbeispiel ein 
einfaches lineares Kameramodell verwendet (z. B. /KRAU83/): 

xb -(hll »xr + hl2-yr + hl3»zr + h!4)/(h31 -xr + h32^yr + h33«zr + 1), 
yb - (h21 • xr + h22 • yr + h23 ■ zr + h24) / (h31 • xr + h32 • yr + h33 • zr + 1) , 



mit 

(xr, yr, zr) = Xr Raumpunktkoordinaten, 
(xb, yb) - Xb Bildpunktkoordinaten, 
5 (hll,.. n h33) = H Abbildungsparameter. 

Die Kalibration der Kameras ist gleichbedeutend mit der Bestimmung der Abbildungsparameter H k (mit 
dem Kameraindex k, k — 1 . . . Kameraanzahl). Zur Kalibration wird z. B. ein mit Markierungspunkten versehe- 
nes Gestell in den Oberwachungsbereich gebracht, wobei die Koordinaten der Markierungspunkte Xr p (mit 
10 dem Markierungspunktindex p, p - 1 . . . Anzahl der Markierungspunkte) bezuglich eines beliebigen Raumkoor- 
dinatensystems bekannt sein mussen. Aus den Bildern der Kameras werden die Bildkoordinaten Xbjc, p der 
Projektionen der Markierungspunkte bestimmt. Durch Einsetzen der Markierungspunktraumkoordinaten Xr_p 
und der zugehorigen Bildkoordinaten Xbjc p von mindestens 6 Markierungspunkten in obige Gleichungen 
erhalt man fur jede Kamera k ein uberbestimmtes Gleichungssystem, welches mit Hilfe der Ausgieichsrechnung 
15 gelds t wird. Damitsind die Abbildungsparameter (hi IJc, hi 2_k,..., h33Jc) - HJcfurjede Kamera bekannt. 

Zur Markierung des Oberwachungsbereiches wird eine MeBmarkierung aufdie vier Raumpositionen 5 bis 8 
gefiihrt und ihre Bildkoordinaten bezuglich mindestens zweier Kameras bestimmt. Durch Umformung der 
obigen Gleichungen nach den Raumkoordinaten werden die markierten Positionen 5 bis 8 durch Ausgieichs- 
rechnung errechnet Diese spannen im Raum einen Spat auf, der den Oberwachungsbereich beschreibt. Zur 
20 Festlegung des Oberwachungsraumpunktrasters werden die Abstande der Oberwachungsraumpunkte in Rich- 
tung der Spatvektoren vorgegeben. Die so erzeugten Oberwachungsraumpunkte Xrj (i - 1 . . . Anzahl der 
Oberwachungsraumpunkte) werden mit Hilfe der Abbildungsparameter HJc und den obigen Gleichungen in die 
Oberwachungsbildpunkt Xb Jc, i umgerechnet 

Fur den spateren BildvergTeich wird von jeder Kamera der Oberwachungsraum im Grundzustand aufgenom- 
25 men. Aus diesen Bildern werden die Grauwerte G (Xb_k, i) auf den Bildkoordinaten der Oberwachungsbild- 
punkte Xb k, i ermittelt und abgespeichert 

In der zyklisch ablaufenden Uberwachungsphase wird von den Kameras der Oberwachungsraum aufgenom- 
men. Aus diesen Bildern werden die aktuellen Grauwerte B (Xb_k, i) ermittelt Anschlieflend werden die Grau- 
werte G(XbJc,i) und B(XbJci) nach einem geeigneten Vergleichsalgorithmus miteinander verglichen. Zum 
30 Beispiel kaniTein Oberwachungsbildpunkt B(XbJc, i) als ge&ndert angenommen werden, wenn die Differenz 
zwischen G (Xbjc, i) und B (Xb_k, i) einen bestimmten, vorgebbaren Betrag uberschreitet. Ein Oberwachungs- 
raumpunkt i mit den Koordinaten Xrj wird dann als geandert angenommen, wenn die korrespondierenden 
Oberwachungsbildpunkte B (Xb Jc i) far alle k (k - 1 . . . Kameraanzahl) geandert erscheinen. 
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Patentanspriiche 

1. Verfahren zur automatischen Oberwachung von Gefahrenraumen mit dem Ziel, in den Gefahrenraum 
eintretende Objekte zu detektieren, lokalisieren und gegebenenfalls ihre GroBe und Form naherungsweise 

60 zu bestimmen, mit den Verfahrensschritten: (a) laufendes Aufnehmen des Gefahrenraumes mit zwei oder 
mehr elektronischen Bildaufnehmern in der Uberwachungsphase, (b) Oberftihren der aufgenommenen 
Bilder in eine rechnerverarbeitbare Form mit dem Ziel einer rechnergestUtzten Weiterverarbeitung, (c) 
Vergleichen der von den Bildaufnehmern in der Oberwachungsphase aufgenommenen Bilder mit den 
Bildern, die den Grundzustand des Raumes aus der Sicht des jewe ;!, $en Bildaufnehmers wiedergeben, 

65 dadurch gekennzeichnet, daB (d) die Bildaufnehmer auf ein gemeinsames Raumkoordinatensystem kali- 
briert sind, (e) die Oberwachungsraumpunkte in den Koordinaten des Raumkoordinatensystems festgelegt 
werden, (0 die Oberwachungsbildpunkte aus den Oberwachungsraumpunkten und den Kalibrationspara- 
metern bestimmt werden, (g) aus der Veranderung.der zu einem Oberwachungsraumpunkt korrespondie- 



[CHEN88] 
[FOHR90] 

40 

[KRAU83] 

45 [MEIS89] 
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50 

[SRIV90] 



renden Oberwachungsbildpunkte auf die Belegungsveranderung dieses Oberwachungsraumpunktes ge- 
schlossen wird. 

2. Verfahren nach Anspruch l t dadurch gekennzeichnet, daB der Verfahrensschritt (f) nur einmalig in der 
Einrichtphase durchgefuhrt wird 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daB wahrend des Verfahrensschrittes (c) nur 
die zu einem Oberwachungsraumpunkt korrespondierenden Oberwachungsbildpunkte ggf. unter Beruck- 
sichtigung ihrernaheren Bildpunktumgebung, fur den Bildvergleich verwendet werden. 

4. Verfahren nach einem der Anspruche 1 bis 3. dadurch gekennzeichnet, daB ein Oberwachungsraumpunkt 
dann als geandert betrachtet wird wenn alle seine korrespondierenden Oberwachungsbildpunkte als veran- 
dert erkannt wurden. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch gekennzeichnet, daB die Oberwachungsraumpunk- 
te rechnergestutzt aus der Vorgabe eines zu uberwachenden Raumbereiches und der Dichte der Oberwa- 
chungsraumpunkte in diesem Raumbereich erzeugt werden. 

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, daB Oberwachungspunkte oder der zu uberwa- 
chende Raumbereich im Raum selbst markiert wird, wobei eine MeBmarkierung, die auf die Oberwa- 
chungspunkte oder Kennpunkte des Oberwachungsraumes gefuhrt wird, mit Hilfe der kalibrierten Bildauf- 
nehmer photogrammetrisch vermessen wird. 

7. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet, daB mindestens ein Teil der 
Bildaufnehmer farbseiektiv ist und daB im Nahbereich eines farbselektiven Bildaufnehmers jeweils eine 
Farblichtquelle mit einer auf diesen Bildaufnehmer abgestimmten Lichtfarbe angebracht ist 

8. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet, daB mindestens ein Teil der 
Bildaufnehmer so geschaltet ist, daB jeweils nur ein Bildaufnehmer belichtet wird, wobei eine schaltbare 
Lichtquelle im Nahbereich des Bildaufnehmers eingeschaltet ist. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daB mindestens ein Teil der Bildaufnehmer farbse- 
iektiv ist und daB die zugehorigen schaltbaren Lichtquellen ein fur die farbselektiven Bildaufnehmer gut 
sichtbares Licht besitzen. 
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